Học máy (Machine Learning)
Tổng quan
Vinh, 08/2021
By Hoàng Hữu Việt
Email: viethh@vinhuni.edu.vn
Viện Kỹ thuật và Công nghệ, Đại học Vinh
Tài liệu tham khảo
Tài liệu chính
[1] Richard O.Duda, Peter E. Hart, David G.Stock. Pattern Classification, 2nd, Wiley,
2001.
[2]. Milos Hauskrecht. Machine Learning, 2010.
https://people.cs.pitt.edu/milos/courses/cs2750-Spring2010/
Nội dung
Tổng quan
Ví dụ về hệ thống nhận dạng mẫu
Chu trình thiết kế hệ thống học máy
Phân loại bài toán học máy
Định nghĩa
Nhận dạng mẫu (pattern recognition) là một phần của học máy
(machine learning).
Nhận dạng mẫu: “Pattern recognition is the categorization of input data
into identifiable classes via the extraction of significant features or
attributes of the data from a background of irrelevant detail.” J. T. Tou
and R. Gonzales.
Học máy (machine learning): The field of machine learning studies the
design of computer programs (agents) capable of learning from past
experience or adapting to changes in the environment.
Định nghĩa
Artificial intelligence, machine learning,
and deep learning
Machine learning: a new programming
paradigm
Character Recognition
Fingerprint Recoginition
Face Recognition
Một số ứng dụng
Ví dụ về một hệ thống học máy
Prediction
Training
Labels
Training Images
Training
Training
Image
Features
Image
Features
Testing
Test Image
Learned
model
Pre
Processing
Pre
Processing
Nhận dạng mẫu
Ví dụ về hệ thống nhận dạng mẫu
Phân loại “Cá vược/Cá hồi (Sea bass/ Salmon)
Camera chụp hình ảnh
Tiền xử lý
Trích chọn đặc trưng
Chiều dài (length)
Bề rộng (width)
Độ sáng (lightness)
Hình dạng vây cá (fins)
Vị trí miệng cá
…
Mục tiêu phân lớp
Cá vược ?
Cá hồi ?
Ví dụ về hệ thống nhận dạng mẫu
Chọn chiều dài làm đặc trưng cho bộ phân lớp
Ví dụ về hệ thống nhận dạng mẫu
Chọn độ sáng làm đặc trưng cho bộ phân lớp
Ví dụ về hệ thống nhận dạng mẫu
Kết hợp độ sáng và bề rộng làm đặc trưng (feature) cho bộ phân lớp:
x = [x
1
,x
2
]
T
, x
1
: độ sáng, x
2
: bề rộng.
Ví dụ về hệ thống nhận dạng mẫu
Có thể bổ sung thêm các đặc trưng khác mà không liên quan tới các đặc
trưng đang đã có.
Đường biên lý tưởng là đường phân biệt được các đối tượng.
Ví dụ về hệ thống nhận dạng mẫu
Khi số lượng mẫu lớn, khó tìm được đường biên lý tưởng (tính toán
nhiều).
Khi số lượng mẫu lớn, các mô hình phân lớp đơn giản thường có hiệu
quả tốt.
Các hệ thống học máy
Sensing
Camera, microphone,…
Hệ thống nhận dạng phụ thuộc vào chất
lượng các bộ cảm biến.
Segmentation
Phân chia các vùng đối tượng.
Feature extraction
Trích chọn các đặc trưng của đối tượng
input
sensing
segmentation
feature extraction
classification
post-processing
decision
costs
adjustments for
context
adjustments for
missing features
Các hệ thống học máy
Classification
Sử dụng một vector đặc trưng để
nhận dạng một đối tượng.
Post-processing
Sử dụng thêm thông tin ngữ cảnh để
cải tiến chất lượng hệ thống nhận
dạng.
input
sensing
segmentation
feature extraction
classification
post-processing
decision
costs
adjustments for
context
adjustments for
missing features
Chu trình thiết kế hệ thống
start
collect data
choose features
choose model
train classifier
evaluate classifier
end
prior knowledge
(e.g., invariances)
Chu trình thiết kế hệ thống
Thu thập dữ liệu (data collection)
Thu thập dữ liệu để huấn luyện (training) và kiểm tra (test) hệ thống.
Dữ liệu cần làm “sạch” và tiền xử lý.
Làm “sạch”: giảm nhiễu, loại bỏ các dư thừa
Tiền xử lý: đổi tên (ví dụ hight 2, normal 1, low 0), chuẩn hóa (ví dụ chuẩn
hóa giá trị về [0,1]), rời rạc hóa (ví dụ rời rạc (lấy mẫu) các giá trị liên tục), trừu tượng
hóa (ví dụ trộn các giá trị với nhau.
Chọn đặc trưng (choose feature)
Kích thước các mẫu dữ liệu thường rất lớn
Giảm kích thước các mẫu trích chọn đặc trưng các mẫu.
Trích chọn đặc trưng phụ thuộc vào bài toán.
Chu trình thiết kế hệ thống
Chọn mô hình (choose model)
Sử dụng các kiến thức về các mẫu, phân tích sự tương quan để dự đoán mô hình
phụ hợp với bài toán.
Huấn luyện bộ phân lớp (training classifier)
Huấn luyện: quá trình học (learning) dựa trên bộ dữ liệu huấn luyện để xác định
bộ phân lớp.
Học: là giải bài toán tối ưu
Đánh giá bộ phân lớp (evaluate classifier)
Đánh giá tỷ lệ lỗi của hệ thống nhận dạng.
Chu trình thiết kế hệ thống
Đánh giá mô hình – phương pháp đơn giản
Chia tập dữ liệu (dataset) thành 2 tập là tập huấn luyện (training set) và tập kiểm
tra (testing set).
Ví dụ lấy 2/3 tập mẫu dung tập huấn luyện và 1/3 tập mẫu dung tập kiểm tra.
Chu trình thiết kế hệ thống
Đánh giá mô hình – các phương pháp phức tạp hơn
Random subsampling: lặp lại phương pháp đơn giản
k
lần.
Chu trình thiết kế hệ thống
Đánh giá mô hình – các phương pháp phức tạp hơn
Cross-validation: chia dữ liệu thành
k
nhóm tương đương, kiểm tra trên
nhóm thứ i và huấn luyện tên tập còn lại.
Độ đo đánh giá mô hình học máy
Độ đo đánh giá một mô hình phân 2 lớp dữ liệu
Ký hiệu 2 lớp dữ liệu là lớp nhãn dương (+) và lớp nhãn âm (-), ma trận nhầm lẫn:
: Số mẫu nhãn dương được phân lớp đúng.
: Số mẫu nhãn dương bị phân lớp sai.
: Số mẫu nhãn âm bị phân lớp sai.
: Số mẫu nhãn âm được phân lớp đúng.
Ví dụ phân lớp 100 mẫu dữ liệu gồm 10 mẫu lớp (+) và 90 mẫu lớp (-):
Trong 10 mẫu lớp (+), có 8 mẫu phân lớp đúng, 2 mẫu phân lớp sai.
Trong 90 mẫu lớp (-), có 78 mẫu phân lớp đúng và 12 mẫu phân lớp sai.
Ta có: .
Độ đo đánh giá mô hình học máy
Tỷ lệ phân lớp chính xác của mô hình:
Ví dụ với mô hình phân lớp đã xét, ta có:
Tỷ lệ phân lớp là không đủ để đánh giá một mô hình học máy.
Ví dụ nếu , ta có , nhưng
phân lớp sai toàn bộ mẫu lớp nhãn dương.
Bài toán phân lớp dữ liệu mất cân bằng là bài toán thường xuyên cần giải quyết.
Độ đo đánh giá mô hình học máy
Một số độ đo khác:
nhãn phân trong các nhãn .
𝑆𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑦: % mẫu nhãn dương phân lớp đúng trong các mẫu được phân lớp là
mẫu nhãn dương.
% mẫu nhãn âm phân lớp đúng trong các mẫu được phân lớp là
mẫu nhãn âm.
Độ đo đánh giá mô hình học máy
Một số độ đo khác:
là một hệ số điều chỉnh mối quan hệ giữa Precision và Sensitivity (SE).
% của cả mẫu lớp dương và mẫu lớp âm phân lớp đúng.
Ví dụ , khi đó ta có:
Tham khảo thêm một số độ đo khác: ROC, AUC.
Phân lớp bài toán học máy
Phân lớp bài toán học máy
Học có giám sát (supervised learning)
Tên gọi khác: học có hướng dẫn
Học không có giám sát (unsupervised learning)
Tên gọi khác: học không có hướng dẫn
Học tăng cường (reinforcement learning)
Học có giám sát
Dữ liệu (data):
là một tập
n
mẫu (examples).
Mỗi mẫu
trong đó
x
i
là một vector vào và
y
i
là đầu ra
mong muốn (được đưa bởi người giám sát - teacher).
Mục tiêu: học một hàm sao cho
, .
Hai loại bài toán:
Regression (bài toán hồi quy):
X
rời rạc hoặc liên tục và
Y
liên tục.
Classification (bài toán phân lớp):
X
rời rạc hoặc liên tục và
Y
rời rạc.
(x
1
, x
2,
..., x
n
)
(y
1
, y
2,
..., y
n
)
Học có giám sát
Ví dụ bài toán hồi quy (regression):
Tập dữ liệu
Hàm
f
Học có giám sát
Ví dụ bài toán phân lớp (classification)
Tập dữ liệu
D = {?}
Hàm
f: X Y ? (Y = (N/P}
Học không có giám sát
Dữ liệu (data):
D = {d
1
,d
2
,··· ,d
n
}
là một tập
n
mẫu (samples).
Mỗi mẫu
d
i
= (x
i
), i = 1, 2,··· ,n,
với
x
i
là một vector vào, không có giá trị
là đầu ra mong muốn (không biết
y
i
, i
= 1
,
2
,
···
,n
).
Mục tiêu: học mối quan hệ giữ các mẫu.
Hai loại bài toán:
Clustering: nhóm các mẫu có tính chất tương tự với nhau.
Density estimation: Tìm mật độ xác suất phân bố của các mẫu.
Học không có giám sát
Ví dụ bài toán phân lớp đánh giá hàm mật độ (density estimation):
Tìm mô hình xác suất phân bố của các mẫu:
Học không có giám sát
Ví dụ bài toán phân lớp đánh giá hàm mật độ (density estimation):
Một mô hình có thể là:
Học tăng cường
Tác tử (agent) học thông qua tương tác với môi trường: quan sát, thực
hiện hành động và nhận được điểm thưởng hoặc điểm phạt.
Tác nhân học để nhận được điểm thưởng nhiều nhất.
Học tăng cường
Bài toán robot tìm đường đi trong một môi trường không biết trước
(xem demo).
Bài toán xe leo dốc, bài toán cân bằng (xem demo).
